Ngày 27 tháng 10 năm 1976, Trường Đại học Văn khoa Sài Gòn và Trường Đại học Khoa học Sài Gòn sáp nhập thành Trường Đại học Tổng hợp Thành phố Hồ Chí Minh theo Quyết định số 426/TTg của Thủ tướng Chính phủ nước Cộng hòa xã hội chủ nghĩa Việt Nam.[8][9]

Đại học Quốc gia Thành phố Hồ Chí Minh ban đầu được thành lập vào ngày 27 tháng 1 năm 1995 theo Nghị định 16/CP của Chính phủ trên cơ sở sắp xếp 9 trường đại học (Trường Đại học Tổng hợp, Trường Đại học Sư phạm Kỹ thuật Thủ Đức, Trường Đại học Bách khoa, Trường Đại học Nông Lâm, Trường Đại học Kinh tế, Trường Đại học Tài chính Kế toán, Trường Đại học Sư phạm, Trường Đại học Kiến Trúc, Phân hiệu Đại học Luật Thành phố Hồ Chí Minh) lại thành 10 trường đại học thành viên và chính thức ra mắt vào ngày 6 tháng 2 năm 1996[10].

Quy hoạch của Đại học Quốc gia TP Hồ Chí Minh được phát triển trên nền tảng của Quy hoạch Làng Đại học Thủ Đức do KTS Ngô Viết Thụ thiết kế và xây dựng từ thập niên 1960, trong đó bao gồm việc xây dựng một số hệ thống đường sá và hạ tầng cho khu đại học đường và khu biệt thự cho các giáo sư, tổng thể các công trình của Đại học Nông Lâm Súc xây xong vào khoảng 1974 (nay là Đại học Nông Lâm TP. Hồ Chí Minh), Đại học Khoa học, và một số biệt thự trong khu ở cho giáo sư.

Năm 1996, Trường Đại học Khoa học Tự nhiên và Trường Đại học Khoa học Xã hội và Nhân văn được tách ra từ Trường Đại học Tổng hợp thành phố Hồ Chí Minh theo quyết định 1236/GDĐT của Bộ Giáo dục và Đào tạo ngày 30 tháng 3 năm 1996.[11]

Ngày 12 tháng 2 năm 2001, Thủ tướng Phan Văn Khải ra quyết định số 15/2001/QĐ-TTg về việc tổ chức lại hai đại học quốc gia tại Hà Nội và Thành phố Hồ Chí Minh.Theo đó, Đại học Quốc gia Thành phố Hồ Chí Minh (cũng như Đại học Quốc gia Hà Nội) có quy chế tổ chức và hoạt động riêng dưới sự quản lý trực tiếp của Thủ tướng Chính phủ, là trung tâm đào tạo đại học, sau đại học và nghiên cứu khoa học – công nghệ đa ngành, đa lĩnh vực, chất lượng cao, đạt trình độ tiên tiến, làm nồng cốt cho hệ thống giáo dục đại học, đáp ứng nhu cầu phát triển kinh tế – xã hội.

Cũng theo quyết định đó, một số trường thành viên trước đây của Đại học Quốc gia Thành phố Hồ Chí Minh tách ra độc lập và chỉ trực thuộc Bộ Giáo dục và Đào tạo. Hiện nay, Đại học Quốc gia thành phố Hồ Chí Minh có 7 trường đại học thành viên: Trường Đại học Bách khoa, Trường Đại học Khoa học Tự nhiên, Trường Đại học Khoa học Xã hội và Nhân văn, Trường Đại học Quốc tế, Trường Đại học Công nghệ Thông tin, Trường Đại học Kinh tế – Luật, Trường Đại học An Giang, một khoa trực thuộc: Khoa Y và một trung tâm đào tạo Đại học Quốc gia Thành phố Hồ Chí Minh tại tỉnh Bến Tre.

Giữa tháng 3 năm 2016, Văn phòng Chính phủ công bố quyết định của Thủ tướng về chuyển đổi cơ quan chủ quản của 2 trường đại học. Theo quyết định, Trường Đại học Việt – Đức sẽ được bàn giao về cho Đại học Quốc gia Thành phố Hồ Chí Minh. Theo đó, trong vòng 60 ngày, Bộ Giáo dục và Đào tạo sẽ bàn giao nguyên trạng Trường Đại học Việt – Đức (bao gồm các dự án đầu tư) về cho Đại học Quốc gia. Như vậy, Trường Đại học Việt – Đức có thể sẽ là trường thành viên thứ 7 của Đại học Quốc gia Thành phố Hồ Chí Minh[12]. Tuy nhiên, vào ngày 29 tháng 8 năm 2016, Văn phòng Chính phủ đã công bố kết luận của Thủ tướng về việc không chuyển Trường Đại học Việt – Đức về Đại học Quốc gia Thành phố Hồ Chí Minh. Theo đó, Trường Đại học Việt – Đức tiếp tục trực thuộc Bộ Giáo dục và Đào tạo trong giai đoạn đầu xây dựng trường[13].

Ngày 8 tháng 12 năm 2016, Thủ tướng có văn bản đồng ý chủ trương chuyển Trường Đại học An Giang từ trường đại học chịu sự quản lý trực tiếp của UBND tỉnh An Giang thành trường Đại học thành viên của Đại học Quốc gia Thành phố Hồ Chí Minh, nhưng tới năm 2019 trường mới chính thức được chuyển vào Đại học Quốc gia.[14][15][16]